GLUE Diagnostic
GLUE
https://gluebenchmark.com/diagnostics#introduction
GLUE Diagnosticは、自然言語推論（Natural Language Inference, NLI）の問題を含むテスト。
具体的には、2つの文、すなわち前提（premise）と仮説（hypothesis）が与えられ、それらの間の関係が「包含（entailment）」、「矛盾（contradiction）」、または「中立（neutral）」であるかを判断することが目的。
以下にGLUE Diagnosticの具体例をいくつか示します：
1. **包含（Entailment）の例**
- 前提: 「犬が公園で走っている。」
- 仮説: 「公園には動物がいる。」
- 関係: 包含
- 理由: 犬が公園で走っていることは、公園に動物がいることを意味しているため。
2. **矛盾（Contradiction）の例**
- 前提: 「彼女は本を読んでいる。」
- 仮説: 「彼女はテレビを見ている。」
- 関係: 矛盾
- 理由: 同時に本を読んでいるとテレビを見ていることは不可能であるため。
3. **中立（Neutral）の例**
- 前提: 「トムはレストランで昼食をとった。」
- 仮説: 「トムは魚を食べた。」
- 関係: 中立
- 理由: トムが昼食で何を食べたかは前提からは判断できないため。
これらの例は、AIモデルが文の意味をどの程度正確に把握し、論理的な関係を理解できるかを評価するのに役立ちます。
GLUE Diagnosticは、モデルがこれらのタイプの関係をどのように識別するかを評価するために設計されています。